在人工智慧領域中，序列建模將焦點從靜態快照轉移到 時間序列流。標準的機器學習任務通常假設資料點是 獨立同分佈（IID），意即樣本的順序不影響結果。

序列建模明確地否定這一點，並聚焦於三大核心支柱：

• 違反 排列不變性：在表格式資料中，欄位順序是任意的。在序列中，順序是主要特徵。將「The cat ate the rat」換成「The rat ate the cat」從根本上改變了 語意真實標註 儘管詞元完全相同。
• 自迴歸 性質：我們假設時間 $t$ 的觀測在數學上以過去的歷史（$t-1, t-2, \dots, 1$）為條件。這需要轉移機率來捕捉資訊如何演化。
• 可變長度映射：與固定的 28x28 像素網格不同，句子或地震波等序列具有 彈性。模型必須使用一致的參數，處理長度為 $N$ 的輸入並產生長度為 $M$ 的輸出。